GPT류의 자기회귀(autoregressive) 모델 대신 이미지 생성에 쓰이는 확산(diffusion) 기법을 텍스트에 적용한 '확산 언어 모델'의 원리와 최신 연구 성과를 소개하는 글입니다. 2024년 품질 경쟁력을 확보한 뒤 2026년에는 Mercury 2, Gemma Diffusion, Nemotron Diffusion 등 상용 모델이 등장했으며, 이 글은 단순 마스킹 확산부터 반복 정제, 사후 학습, 가변 길이 생성까지 핵심 구성 요소를 다룹니다.
몇 년간 정체됐던 연속(continuous) 확산 언어 모델 연구가 최근 다시 활발해지고 있습니다. 이 글은 자기회귀(autoregressive) 방식이 지배하는 언어 모델 패러다임에 대한 대안으로서, 2021년 이산(discrete) 확산 모델과 2022년 Diffusion-LM 등 연속 확산 접근법의 역사와 기술적 배경을 정리합니다. 텍스트 생성의 병렬화·제어 가능성 측면에서 중요한 연구 흐름입니다.
Gemma 팀이 기존 자기회귀(AR) 모델을 디퓨전 방식으로 파인튜닝한 실험적 오픈 웨이트 언어 모델 'DiffusionGemma'를 공개했습니다. 이 모델은 256 토큰 블록을 병렬로 반복 정제하여 H100 GPU 한 장에서 초당 약 1,500 토큰을 생성하며, 최첨단 추측 디코딩을 적용한 AR 모델보다도 훨씬 빠릅니다. 원본 AR 모델 학습 토큰 예산의 10% 미만으로 학습되었으며, AR 생성 능력도 유지해 하이브리드 디퓨전-AR 디코딩의 가능성을 보여줍니다.
Anthropic의 연구진은 Claude 모델 내부에서 인간의 '의식적 접근'과 유사한 특수한 내부 신경 패턴인 'J-space'가 자발적으로 형성되었음을 발견했습니다. J-space는 AI가 텍스트로 출력하지 않고도 내면에서 조용히 개념을 떠올려 다단계 추론이나 제어된 사고를 수행하는 데 핵심적인 역할을 합니다. 이는 AI의 단순한 문장 생성을 넘어, 고차원적인 인지 작용과 추론 메커니즘을 신경과학적 관점에서 해체하고 이해하는 데 매우 중요한 의미를 갖습니다.
2019년 발표된 GPT-2는 GPT-1을 기반으로 파라미터와 학습 데이터를 대폭 확장한 언어 모델입니다. 악의적 사용을 우려해 전체 모델 공개를 보류하고 소규모 모델만 공개했던 이 사건은, 강력한 AI 모델의 책임 있는 공개를 둔러싼 초창기 핵심 이슈였습니다.
이 연구는 대화형 대규모 언어 모델이 유해한 요청을 거부하는 메커니즘이 모델 내부의 단일 1차원 부분 공간(방향성)에 의해 결정된다는 사실을 13개의 주요 오픈소스 모델을 통해 입증합니다. 연구진은 이 방향성을 제거하면 모델의 안전장치가 무력화되고, 반대로 추가하면 무해한 요청도 거부하게 만들 수 있음을 보였습니다. 이러한 기계적 해석 가능성(Mechanistic Interpretability) 연구는 현재 AI 안전성 미세조정(Fine-tuning) 방식의 취약성을 지적하며, 모델 내부 구조 이해가 행동 제어 기술로 이어질 수 있음을 시사합니다.
오픈AI가 자사 API를 통해 최신 언어 모델인 GPT-5.5와 고성능 버전인 GPT-5.5 Pro를 공개했습니다. 이 모델은 기존 버전 대비 추론 능력 및 처리 속도가 향상되어 실무 개발 및 다양한 비즈니스 애플리케이션에 즉각적으로 활용될 수 있습니다. 개발자 커뮤니티에서도 폭발적인 반응을 보이며 연 1,000개가 넘는 댓글이 달리는 등 AI 업계의 기술적 진보를 확인하는 중요한 이정표로 평가받고 있습니다.
디퓨전 언어 모델(DLM)의 한계를 극복하고 자기회귀(AR) 모델과 동등한 성능을 달성한 내향적 디퓨전 언어 모델(I-DLM)을 소개합니다. 이 모델은 기존 DLM이 가진 '내향적 일관성' 부족 문제를 해결하여, 절반 크기의 파라미터로도 대형 모델들을 능가하는 추론 및 코딩 성능을 보여줍니다. 또한 동시 처리 시 높은 처리량을 제공하며 기존 AR 서빙 인프라와 완벽하게 호환된다는 점에서 실무적으로 매우 중요한 의미를 갖습니다.